За пределами простого запроса
Когда начинают работать с крупными моделями языков (LLM), разработчики обычно используют прямые вызовы API (например, библиотеку Python от OpenAI), чтобы отправить запрос и получить результат. Хотя это работает, такой подход становится неуправляемым по мере масштабирования приложений.
Проблема безгосударственности
Крупные модели языка по своей сути безгосударственные. Каждый раз, когда вы отправляете сообщение, модель «забывает», кто вы и что вы говорили ранее. Каждое взаимодействие — это чистый лист. Чтобы поддерживать диалог, вам необходимо вручную передавать всю историю общения модели каждый раз.
Решение от LangChain
LangChain представляет собой ChatOpenAIобёртку модели. Это не просто обёртка ради обёртки — это основа для модульности. Абстрагируя вызов модели, мы можем позже заменить модели, внедрить память и использовать шаблоны, не переписывая весь код.
Your task is to create a
ChatOpenAI instance named my_llm with a temperature of 0.7 to allow for more creative (non-deterministic) responses.
from langchain_openai import ChatOpenAImy_llm = ChatOpenAI(temperature=0.7)